Gregorius II sinh tại Rôma trong gia đình Savelli. Với triều đại của ông, quyền lực thế tục thực sự của Giáo hoàng được bắt đầu. Ngay từ khi còn trẻ Grêgôriô đã dính dáng đến công việc của Giáo hội. Chính Giáo hoàng Sergius I là người nhận thấy những đức tính cao quý nơi người trẻ tuổi này và đã tấn phong Grêgôriô làm trợ phó tế. Ông phục vụ liên tiếp dưới bốn triều đại Giáo hoàng với chức vụ thủ quỹ, và sau đó là quản thủ thư viện.

Ông được giao cho các nhiệm vụ quan trọng và tháp tùng Ðức Giáo hoàng Constantine đến Constantinople để phản đối Hoàng Ðế Justinian II về các nghị định chống lại tây phương của Công Ðồng Trullan II (692). Sau khi Ðức Constantine từ trần, Grêgôriô được chọn làm Giáo hoàng và được tấn phong năm 715. Chọn tên Grêgôriô, vị Giáo hoàng này muốn tiếp tục con đường của vị tiền nhiệm ở thế kỷ VII, là Thánh Grêgôriô Cả.